Dưới thời trị vì của cha, Nikolay Nikolayevich phục vụ trong Trung đoàn Vệ binh Ulansky và cùng với Konstantin và Mikhail thực hành trên tàu lugger Oranienbaum, lên đường đến Vịnh Phần Lan. Dưới thời của Aleksandr II, tức anh trai ông, Đại vương công Nikolay đã cống hiến hết mình và tỏ ra đặc biệt quan tâm đến kỹ thuật quân sự. Năm 1856, ông được bổ nhiệm làm Tổng thanh tra kỹ sư và năm 1864, ông trở thành chỉ huy của Đội cận vệ Hoàng gia. Năm 1873, ông cùng anh trai của mình, đến Berlin tham dự gặp mặt của ba vị hoàng đế: Nga, Đức và Áo. Trong Chiến tranh Nga–Thổ Nhĩ Kỳ (1877–1878), Nikolay được bổ nhiệm làm Tổng tư lệnh quân đội Nga đang đống tại sông Danube. Sau khi quân đội Nga bị trục xuất khỏi Rumelia và các cuộc tấn công không thành công tại Plevna, chức vụ chỉ huy của Nikolay nhanh chóng được thay thế. Sau khi chiến tranh kết thúc, ông bị chỉ trích vì không chiếm được Constantinopolis, mặc dù trước đó ông đã bày tỏ khả năng tự mình cầm quân với Aleksandr II nhưng anh trai đã không đồng ý. Nếu so với các nhà lãnh đạo quân sự hàng đầu đang phục vụ cho Sa hoàng thời đó thì kỹ năng chỉ huy của ông không được đánh giá cao nhưng thất bại trong Chiến tranh Nga-Thổ Nhĩ Kỳ của ông một phần làm mất đi uy tín của ông trước anh trai.[5][6]

Ngày 16 tháng 4 năm 1878, để thúc đẩy niềm tin của em trai trong sự nghiệm của mình, Sa hoàng Aleksandr II đã phong Nikolay là Tư lệnh quân khu St Petersburg, Thống chế của Nga, Tổng Thanh tra Kỵ binh và Tổng Thanh tra các lực lượng công binh Nga.[7]